图网络入门路径：从网络科学视角出发，上手深度学习前沿技术
从知识图谱到概率图模型，从蛋白质相互作用网络到社交网络，从基本的逻辑线路到因特网，图与网络无处不在。由于传统机器学习方法难以处理图数据信息，近年来兴起了图神经网络方法，在诸多真实问题的建模和解决上，取得良好效果。作为正火热的新领域，图网络方法还没有非常成熟的教材教程，我们整理了这份结合多门基础课程、多篇经典论文的学习路径，供你入门参考。
扫码登录集智斑图，获取完整学习路径
图网络是一种结合机器学习和网络科学的前沿学科，它将传统的用于自然语言处理、图像处理、计算机视觉等领域中的神经网络、深度学习技术扩充到了一般的图上，使得这些技术可以处理类似于图、n 维流形等更加一般而普适的非欧几里德几何对象，以及多关系网络、知识图谱、带属性的图结构等更加复杂的数据结构。大概从 2015 年开始，该领域同时在学术界和工业界获得了蓬勃的发展机遇，它不仅可以很有效地解决诸如连边预测、社区划分等传统经典的网络科学问题，而且还可以解决诸如节点分类、网络重构、网络补全、图上的组合优化问题等非传统的网络科学问题，甚至还可以解决诸如计算机视觉、图像理解、自然语言处理、自动推理、机器人控制、动力学建模等人工智能领域中的问题。
一、深度学习与 PyTorch 入门
系列课程：火炬上的深度学习，特别是（下）“自然语言处理”篇
为了能够打好深度学习的基础，以及掌握一项编程工具，建议学习集智学园上的线上课程。
二、图向量化（图嵌入）
要想用机器学习的技术处理图结构的数据，首先要做的就是将网络上的每个节点表示成规整的欧氏空间向量。
1、Word2Vec
课程：词向量原理初探与Word2Vec
课程：浅谈Word2Vec：自然语言处理的基石
论文题目：
Efficient Estimation of Word Representations in Vector Space
论文地址：
http://arxiv.org/abs/1301.3781
论文题目：
Distributed Representations of Words and Phrases and their Compositionality
论文地址：
https://arxiv.org/abs/1310.4546
论文题目：
Linguistic Regularities in Continuous Space Word Representations
论文地址：
https://www.aclweb.org/anthology/N13-1090/
这三篇文章引出了自然语言处理领域中经典的 Word2Vec 技术，它可以通过扫描文本，将每个单词赋予一个向量。本质上讲，如果我们将一篇文章看作是词语共现的网络：单词为节点，如果一对单词同时出现在一个句子中就连一条边，则词向量的嵌入就相当于网络的嵌入。
2、网络嵌入算法
论文题目：
DeepWalk: Online Learning of Social Representations
论文地址：
https://arxiv.org/abs/1403.6652
这是网络嵌入算法的第一篇工作。
论文题目：
node2vec: Scalable Feature Learning for Networks
论文地址：
https://arxiv.org/abs/1607.00653
这是对 DeepWalk 的改进，它目前已经成为一种 Benchmark。
三、图网络
如果详细追溯，图神经网络早在 2008 年左右就被人提出了，但是到了 2015 年左右，随着图卷积神经网络的出现与流行，人们突然发现，我们可以在图结构上进行卷积操作了，而且这种卷积操作不仅计算简单，还具有超强的准确度，这大大刺激了该领域的突飞猛进地发展。
1、图网络综述：
论文题目：
Relational inductive biases, deep learning, and graph networks
论文地址：
https://arxiv.org/abs/1806.01261
这基本上是第一篇有关图网络的综述，非常全面，但也不太容易读懂。
2、图卷积及其相关架构
论文题目：
Semi-Supervised Classification with Graph Convolutional Networks
论文地址：
https://arxiv.org/abs/1609.02907
论文题目：
Graph Attention Networks
论文地址：
https://arxiv.org/abs/1710.10903
论文题目：
Inductive Representation Learning on Large Graphs
论文地址：
http://papers.nips.cc/paper/6703-inductive-representation-learning-on-large-graphs
第一篇是经典的图卷积工作，在半监督学习任务上效果非常好，第二篇是一种基于注意力的图卷积架构，第三篇是提出了 GraphSAGE 框架，一种可以处理大规模网络的图卷积网络，效果非常棒。
四、相关应用
可以将上述技术应用于各种具体的网络问题上，包括连边预测、节点分类、图分类、推荐算法等。这种应用非常多，我们仅挑其中几篇与本研究组最相关的工作：
1、连边预测：
论文题目：
Variational Graph Auto-Encoders
论文地址：
https://arxiv.org/abs/1403.6652
2、图分类：
论文题目：
How Powerful are Graph Neural Networks?
论文地址：
https://arxiv.org/abs/1810.00826
3、推荐算法：
论文题目：
Graph Convolutional Neural Networks for Web-Scale Recommender Systems
论文地址：
https://arxiv.org/abs/1806.01973
4、动力学学习与控制：
论文题目：
Graph networks as learnable physics engines for inference and control
论文地址：
https://arxiv.org/abs/1806.01242
参考文献：
[1] Tomas Mikolov,Kai Chen,Greg Corrado.et al.: Efficient Estimation of Word Representations in Vector Space ,arxiv,2013[2] Tomas Mikolov,Ilya Sutskever,Kai Chen.et al.: Distributed Representations of Words and Phrases and their Compositionality ,arxiv,2013
[3] Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig: Linguistic Regularities in Continuous Space Word Representations ,2013
[4] Bryan Perozzi,Rami Al-Rfou,Steven Skiena: DeepWalk: Online Learning of Social Representations ,arxiv,2014
[5] Aditya Grover,Jure Leskovec: node2vec: Scalable Feature Learning for Networks ,arxiv,2016
[6] Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst.et al.: Relational inductive biases, deep learning, and graph networks,arxiv,2018
[7] Thomas N. Kipf,Max Welling: Semi-Supervised Classification with Graph Convolutional Networks ,arxiv,2016
[8] Petar Veličković,Guillem Cucurull,Arantxa Casanova.et al.: Graph Attention Networks ,arxiv,2017
[9] Will Hamilton,Zhitao Ying,Jure Leskovec: Inductive Representation Learning on Large Graphs ,2017
[10] Thomas N. Kipf,Max Welling: Variational Graph Auto-Encoders ,arxiv,2016
[11] Keyulu Xu,Weihua Hu,Jure Leskovec.et al.: How Powerful are Graph Neural Networks? ,arxiv,2018
[12] Rex Ying,Ruining He,Kaifeng Chen.et al.: Graph Convolutional Neural Networks for Web-Scale Recommender Systems ,arxiv,2018
[13] Alvaro Sanchez-Gonzalez,Nicolas Heess,Jost Tobias Springenberg.et al.: Graph networks as learnable physics engines for inference and control ,arxiv,2018
（参考文献可上下滑动）
作者：张江
编辑：张爽
推荐阅读
斯坦福ICLR2019图网络最新论文：图神经网络的表征能力有多强？
集智俱乐部QQ群｜877391004
商务合作及投稿转载｜swarma@swarma.org
◆ ◆ ◆
搜索公众号：集智俱乐部
加入“没有围墙的研究所”
让苹果砸得更猛烈些吧！
👇点击“阅读原文”，了解更多论文信息